Het oorspronkelijke Laarhof, een laat omwald middeleeuws huis, dateert uit begin 16de eeuw en werd gebouwd op oude grondvesten die teruggaan tot het feodale tijdperk.
Rond 1650 liet Jacobus De Raedt, een Antwerpse suikerhandelaar die in 1648 de heerlijkheden te Reet en Waarloos opkocht, het vervallen houten waterslot afbreken en liet er een prachtig renaissancekasteel optrekken. Begin 18de eeuw werd het kasteel vergroot en verfraaid door Cornelius van den Branden, die het kasteel in 1709 geërfd had. Het kasteel bestaat uit een rijzige toren en twee vleugels. De familie van den Branden bleef eigenaar van het kasteel tot in de 19de eeuw. In 1876 werd het verkocht aan de Antwerpse dokter Egide Henri Schäeffer. Het kasteeldomein onderging in late negentiende eeuw onder Egidius Henri Schaeffer en Josse van den Broeck een transformatie tot landschapspark zoals die tot vandaag bewaard is gebleven.
Sinds 1938 is het domein eigendom van de adellijke familie de Grelle. In 1974 werd het kasteel met het 7,5 hectare grote park als monument en landschap beschermd. Vandaag zijn graaf Harold le Grelle en zijn echtgenote Daisy de Hemptinne, de derde generatie van de adellijke familie le Grelle, de bewoners.